ولم يخالف في ذلك إلّا الخوارج ، فإنهم قالوا : ليست الخلافة في قريش ، بل الناس فيها سواء . وبعد ان اتفق السنة والشيعة على أن الخلافة لا تكون الا في قريش ، قال الشيعة وأفضل قريش بنو هاشم ، لما رواه مسلم في صحيحه ج 2 بعنوان كتاب الفضائل ان النبي قال : « ان اللّه اصطفى كنانة من إسماعيل ، واصطفى قريشا من كنانة ، واصطفى من قريش بني هاشم ، واصطفاني من بني هاشم . وأيضا روى مسلم في الكتاب المذكور بعنوان فضائل علي بن أبي طالب ان النبي « قال : اما بعد الا أيها الناس ، فإنما انا بشر يوشك ان يأتي رسول ربي ، فأجيب ، وانا تارك فيكم ثقلين : أولهما كتاب اللّه ، فيه الهدى والنور ، فخذوا بكتاب اللّه ، واستمسكوا به ، وأهل بيتي أذكركم اللّه في أهل بيتي » كررها ثلاثا . وقال الشيعة : فإذا جمعنا بين الأحاديث الثلاثة ، في قريش ، « والاصطفاء والثقلين » وعطفنا بعضها على بعض جاءت النتيجة ان الخلافة في أهل بيت رسول اللّه ، وهم علي وبنوه . فالسنة يتفقون مع الشيعة في أن الخلافة لا بد منها ، وانها في قريش دون غيرهم وان عدد الأئمة اثنا عشر اماما ويختلفون معهم في امرين : الأول في حصر الخلافة بالهاشميين ، وبصورة أخص بعلي وبنيه . الثاني في تعيين الأئمة الاثني عشر بأسمائهم وأنسابهم ، يختلفون في هذين ، اما أصل فكرة الاثني عشرية فمحل وفاق بين السنة والشيعة الاثني عشرية ، وعلى هذا تكون فكرة اسلامية تعم الطرفين ، لا سنية فقط ، ولا شيعية فقط ، تماما كفكرة العصمة وفكرة الخلافة من حيث المبدأ والقاعدة .